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摘要 : 针对 日 


象 , 本 文 借助 框架 变换 和 低 秩 矩阵 分 解 , 提 
计 了 块 逐次 上 界 极 小 化 (BSUM) 算法 求解 该 模型 . 0 
验 结 果 表 明 本 文 提出 的 算法 比 现 有 一 些 经 典 算 
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问题 研究 


矩阵 核 范 数 (也 称 为 迹 范 数 或 Ky Fan 范 数 ) 是 秩 函数 在 和 
范 数 来 逼近 矩阵 秩 函 数 . 受 此 启发 , Liu 等 人 [10] 首次 
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6]、 视 频 去 雨 [7, 8] 以 及 信和 号 重建 [9] AE, 并 且 获 得 了 很 好 的 效果 . 
张 量 填 充 是 指 从 部 分 的 观测 数据 中 恢复 完整 的 数据 , 可 以 被 描述 为 一 个 张 量 数据 人 
), 是 矩阵 填充 的 高 阶 扩展 . 问题 的 关键 是 建立 观测 数据 和 缺失 数据 之 间 的 联系 [10]. 低 秩 张 量 填 
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HPY Ee Roin 是 待 恢复 张 量 , F 是 观测 张 量 , O 是 记录 观测 数据 对 应 位 置 组 成 的 集合 
算 子 . 张 量 的 秩 有 多 种 不 同 的 定义 且 不 唯一 , 在 张 量 秩 的 所 有 定义 中 , Tucker 秩 被 广泛 用 于 低 秩 张 量 量 
中 [10-12]. 然而 , 模型 (1) 中 直接 使 用 Tucker 秩 进行 求解 是 一 个 NP 难 问题 [13]. 
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范 数 加 权 和 : 


N 
[Y= Do anlel (2) 


其 中 am > 0 AN, on = 1, Yy RATKEV IG Hi DEF KWER, || . |]. RARER. 基于 张 量 核 
范 数 的 定义 , 他 们 提出 了 如 下 张 量 填充 模型 : 


min 3 nll Yn) ll» 


n=l 


s.t. PoV) =F. 
之 后 , 很 多 有 效 的 算法 被 提出 来 求解 上 述 凸 优化 问题 . 例如 , 文献 [10] 设 计 了 三 种 求解 算法 (SiLRTC、 


FaLRTC 和 HaLRTC), 而 Gandy 等 人 [14] 提出 了 基于 Douglas-Rachford 分 裂 算法 和 交 蔡 方向 乘 子 法 (ADMMD) 


的 求解 算法 . 
然而 , Romera-Paredes 等 人 [15] 证 明了 张 量 每 个 模 和 矩阵 的 核 范 数 加 权 和 并 不 是 张 量 展开 和 矩阵 秩 的 和 
的 最 紧凑 凸 包 . 于 是 , 有 学 者 考虑 非 凸 优化 模型 , 如 Li 等 人 [16] 提出 了 基于 矩阵 p- 范 数 的 非 凸 松弛 模型 : 


min 2 onlYi lbe 
n=1 
s.t. PalV) =F, 
其 中 se > 0,p € (0,1). 而 Ji 等 人 [17] 提出 了 基于 每 个 模式 展开 的 非 凸 对 数 函数 模型 : 


N 
nlogdet( (Yin) YE)? + enn 
min Soa ogdet ((Y Yin) EnIn) 


n=1 


s.t. Po(Y) =F, 
其 中 sn > 0. 文献 [17] 将 对 数 函 数 进行 线性 化 处 理 , 应 用 了 ADMM 方法 求解 模型 , 但 未 分 析 算 法 的 收敛 性 . 
Mu 等 人 [18] 证 明了 张 量 每 个 模 核 范 数 的 和 实质 上 是 次 优 的 , 并 提出 了 新 的 凸 松弛 方法 , 即 方 处 
理 (Square Deal). 相对 于 张 量 核 范 数 , 方 处 理 要 求 更 少 的 观察 样本 可 以 得 到 可 靠 的 恢复 结果 . 进 一 
Nie[19] 证 明了 在 一 定 条 件 下 , 张 量 方 处 理 所 得 和 矩阵 的 秩 可 以 与 张 量 的 CP 秩 相等 .基于 方 处 理 ,，Bai 等 
人 [20] 提出 了 一 个 修正 的 约束 张 量 填充 模型 , 并 建立 了 其 误差 边界 . 


N 

E 5 | Vy lle (FV 5) Vy — V5) 
n=1 

s.t. Po(V) =F, |V llo<e, 


其 中 7 e RMX Xn 一 个 张 量 , 通过 将 2 的 模 -i 重 标记 为 模 -k(k = 1,2,---,N), j € {1,2,---,N} 和 置 
Hli, in) Ena) := I ni, 尽 可 能 接近 no) := Mija nm, > Vj = De naj n2). 

上 述 介 绍 的 方法 在 求解 过 程 中 需要 进行 矩阵 的 奇异 值 分 解 (SVD), 随 着 维 数 的 增加 ， o 
上 都 是 高 消耗 . Xu 等 人 [21] KARERE op AEE AY 22] 推广 到 低 秩 张 量 填充 模型 , 通过 并 行 地 对 
KEV 沿 所 有 模式 展开 的 矩阵 应 用 低 秩 和 矩阵 分 解 : 
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‘ An 2 
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其 中 Yow) ~ AnXn, A = (41,… An), X = (Xi1,… Xn). 该 方法 称 为 TMac[21], 获得 比 FaLRTC 更 快 
的 时 间 效 率 和 更 好 的 性 能 . 

实际 数据 不 仅 限于 其 低 秩 特性 , 往往 还 具有 分 段 光滑 的 性 质 . 在 模型 (3) P, Xs 在 实际 应 用 中 具有 
清晰 的 物理 意义 , 例如 : 视频 数据 表现 为 数据 的 空间 信息 结构 , 常常 表现 出 分 段 光 滑 的 性 质 . 特别 地 , 全 
变 分 (Total Variation,TV) 能 够 很 好 地 刻画 分 段 光滑 性 质 , 并 且 在 很 多 应 用 中 取得 了 显著 的 效果 [4, 23-25). 
针对 实际 应 用 中 Xs 表现 出 的 分 段 光滑 的 特性 , Ji 等 人 [26] 将 TV 正则 项 与 低 秩 张 量 填充 相 结合 , 提出 如 下 
模型 : 


3 
m 5 Sty, — 2 
ua > 5 Yn) 一 AnXn|le + HTV(Xs) (4) 


s.t. PalY) =F, 


其 中 > 0 是 正则 参数 , Z an = 1, A = (Ai, Ao, A3), X = ( X2, X3), TV(Xs) 表 示 Xs 的 全 变 分 . 
由 于 TV 正则 项 通常 会 导致 阶梯 伪 影 , 因子 图 像 的 细节 和 几何 特征 在 模型 (4) 中 不 能 很 好 的 保留 

在 实际 应 用 中 , 细节 和 几何 结构 具有 重要 的 地 位 . 特别 地 , 框架 变换 是 一 组 正 交 基 的 生成 , 放宽 了 正 交 
性 和 线性 无 关 性 的 要 求 , 它 的 完 余 具有 保留 几何 特征 和 细节 的 能 力 . 基于 此 , Jiang 等 人 [27] 将 框架 变换 正 
则 项 引入 到 张 量 填充 问题 中 , 得 到 优 于 模型 (4) 模 的 效果 , 其 模型 如 下 : 


3 


: On 加 2 T 
E a 5 legen An Xnl|F 十 入 | WX3 | (5) 
s.t PalY) =; 


其 中 和 > 0 是 正则 参数 , W 是 框架 变换 矩阵 , 满足 WTW = I. 模型 (4) 和 模型 (5) 的 目标 函数 不 是 关于 变 
E(X, A, V) 的 联合 凸 函数 , 但 是 关于 变量 X, A, V 的 子 函数 是 凸 的 . 因此 , 采用 块 逐次 上 界 极 小 化 算法 进 
行 求解 , 且 具 有 收敛 性 保证 . 

然而 ， 图 像 经 过 框架 变换 后 的 系数 向 量 通常 是 近似 稀 玻 而 非 完全 稀 玻 , 在 模型 (5) 中 采用 1 范 数 会 导 
致 恢复 的 因子 图 像 Xs 的 微妙 特征 被 忽略 掉 . 因此 , 在 图 像 修复 问题 中 , Shen 等 人 [28] 采用 框架 变换 的 软 阔 
值 算 子 , 以 及 对 lo 范 数 采 用 加 权 1 范 数 进行 近似 , 最 后 建立 了 近似 稀 玻 的 修复 模型 , 得 到 了 优 于 i 范 数 正 
则 化 的 修复 模型 . 受 此 启发 , 本 文 对 模型 (5) 进行 改进 , 提出 一 个 近似 稀 玻 的 低 秩 张 量 填充 模型 . 在 此 基础 
上 ， 基 于 块 逐次 上 界 极 小 化 算法 (Block Successive Upper-bound Minimization, 简称 BSUM) 设 计 了 快速 
有 效 的 优化 算法 , 并 给 出 了 算法 的 收敛 性 证 明 . 同时 , 通过 数值 实验 来 说 明 本 文 算法 的 优越 性 . 

本 文 内 容 结构 安排 如 下 : 第 二 章 回 顾 了 有 关 预 备 知 识 , 如 张 量 的 基础 知识 、 框 架 变 换 、 不 动 点 算法 
和 BSUM 算法 的 一 些 初步 知识 等 . 第 三 章 给 出 了 一 个 近似 稀疏 张 量 填充 模型 , 并 基于 BSUM 算 法 与 临近 不 
动 点 算法 , 并 分 析 了 算法 的 收敛 性 ; 第 四 章 给 出 了 数值 实验 ; 最 后 一 章 总 结 全 文 . 


2 张 量 基 础 与 预备 知识 


本 章 首先 将 介绍 相关 记号 及 涉及 到 的 有 关 张 量 基 础 知识 [29], 同时 还 将 简要 介绍 本 文 用 到 的 相关 算法 
和 框架 变换 理论 . 


2.1 ”相关 记号 
本 文采 用 希腊 字母 表示 标量 , 例如 : a, b, u; 粗 体 小 写字 母 表示 癌 量 , 例如 : a,b; 大 写字 母 表示 和 矩阵 ， 
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例如 : X, Y; 花 体 字母 表示 张 量 , 例如 : X, Y; 空心 字母 表示 集合 , 例如 : R 表示 实数 空间 . 特别 地 , 9 表示 
观测 数据 中 已 知 元 素 的 位 置 , MEO, ix = 1, 则 表示 数据 中 第 (2 iw) 个 元 素 已 知 ; ANG, iv = 0, 
则 表示 相应 位 置 元 素 缺 失 , KEX 的 第 (ii,… in) PERENE, iy 
集合 S MBAR RK Bus, 定义 为 : 
0, «eS; 
is(x) = | 


Berard 
oO, Lk. 


指标 张 量 9 上 的 投影 算 子 记 为 Po, 定义 为 : 


iT Qiz,- in 一 1; 


(Po(X))i in = | 0, HE. 


2.2 ” 张 量 的 定义 与 运算 
张 量 (tensor) 定义 为 一 个 多 维 数组 , 是 向 量 和 和 矩阵 在 多 维 空间 中 的 推广 , 数据 的 维度 称 为 张 量 的 阶 . 
下 面 我 们 介绍 张 量 中 涉及 的 一 些 概 念 以 及 张 量 与 矩阵 的 相互 转化 关系 . 


一 阶 张 量 (向 量 ) 二 阶 张 量 (矩阵 ) 三 阶 张 量 


图 1: 一 阶 、 二 阶 、 三 阶 张 量 


定义 2.1 ( 张 量 纤维 (fiber)) 纤维 是 指 从 张 量 中 抽取 向 量 的 操作 . 张 量 纤维 是 由 矩阵 行 、 列 概念 的 
高 维 推广 在 矩阵 中 国定 其 中 一 个 维度 ,可 以 得 到 行 或 者 列 . AUTER, KE Ën 维度 纤维 [mode-n 
fiber) 定义 为 固定 张 量 其 它 维度 指标 不 变 , 只 保留 张 量 第 维度 指标 变化 生成 的 向 量 . 


特别 地 , 矩阵 的 模 -1 纤 维 是 矩阵 的 列 , 模 -2 纤维 是 矩阵 的 行 , 三 维 张 量 的 模 -1、-2、-3 纤 维 分 别称 为 
列 (column)、 行 (row) 和 管 (tube). 


g 3 Z 


(a) Mode-1 (column) fibers: x,;, (b) Mode-2 (row) fibers: xik (c) Mode-3 (tube) fibers: x;j: 


图 2: 三 阶 张 量 的 模 -n 纤 维 


定义 2.2 ( 张 量 切 片 (slice)) 切片 操作 是 指 在 张 量 中 抽取 短 阵 的 操作 . 在 张 量 中 如 果 保 留 两 个 维度 
变化 , 其 它 的 维度 不 变 可 以 得 到 一 个 矩阵 , RAGE AK EHS. 
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(a) Horizontal slices: X: (b) Lateral slices: Xj (©) Frontal slices: X; (or Xz) 
ae (AS Ee. 
图 3: 三 阶 张 量 的 切片 


Pali, 三 阶 张 量 XY € Rax2x2 三 个 维度 的 切片 分 别 为 Xi::, Xj Xin, 分 别 记 为 水 平 切片 (horizontal 
slice)、 侧 向 切片 (lateral slice)、 正 向 切片 (frontal slice). 


定义 2.3 ( 张 量 矩阵 展开 (Unfolding-Matricization)) EX ¢ 下 和 xd…xdw 的 矩阵 展开 是 将 一 个 
张 量 的 元 素 重 新 排列 ( 即 对 张 量 的 模 一 n 纤维 按 字典 顺序 重新 排列 ), SAIPAN. 张 量 在 第 见 维 
EW RARER EA X (ny) = unfold, (X) < RY Hint, 其 中 张 量 的 第 (ii…… ,in) 个 元 素 映射 到 展开 
FEE AD (in, j) 个 元 素 , 满足 


N k-1 
j=1+ 5 (ik — 1)Jk, Jk = Il din: 
k=l, kn m=1,mÆn 


定义 2.4 ( 张 量 内 积 (Inner product)) 两 个 相同 大 小 张 量 的 内 积 (.,.) 定义 为 它们 对 应 元 素 的 乘积 
之 和 , Bp 
(X,Y) = >》 Zi 


特别 地 , TRE A Frobenius 范 数 与 矩阵 的 Frobenius 范 数 相 同 , 即 所 有 元 素 的 平方 和 开 方 : | 区 Fr = 


V (T,X) ‘ee Jin [Tiria aul 


定义 2.5 (K= Tucker 秩 ) KEX € ROX” Xd 的 第 n 维 展开 矩阵 的 秩 定义 为 : 


rank,(&) = rank(X(n,)). 
rank, (X) = rn n = 1,2, , N, 则 张 量 % Tucker 秩 定义 为 : 
rank,(&) = (rra2， ,TN). (6) 


2.3 BSUM 算 法 


假设 X = X, x Xx … x X AX; C R™, Bx e X 可 视 为 x = (x1,X2,… ,Xn), 其 中 第 i 分 块 变 
Æx; E Xi 考虑 如 下 的 优化 问题 : 


(7) 


Sui(xi, x") = F(x, Tt igs my) | $lx: x} ||, 其 中 p > 0,7=1,.. ,nN. BSUM 算 法 每 一 次 更 新 


单个 变量 块 , 不 断 循环 进行 如 下 n 步 迭代 , 直到 满足 一 定 的 收敛 条 件 . 


其 中 


其 中 
Fx; 
有 唯 


2.4 


则 称 
仿 射 


特别 


step 1: KETA = argmin ui (x1, Xf), 


X1EX1 


step 2 : or = argmin u2(X2, xfa), 


x2E Xo (8) 
step n : x**1 = argmin Un(Xn, Xin)» 
XnEXn 
k+1 k+l „k k — = 
Xir) = (xi rit Xp po Xr ,Xn) ,7 = 1, yh 1,2,... 


在 满足 适当 条 件 下 , 可 以 证 明 BSUM 算 法 按 坐 标 收敛 : 


引 理 2.1 ([30]) 设 u(x,x*-1) 是 f(z) 在 zh-1 处 的 近似 函数 , 若 满足 以 下 条 件 ; 


uilyi,y) = fly), Vy € Xt,Vi; 
>» Yi-1,%i, Yi 二 1 ,Yn), VXi < Xi, Vy € X, Vi; 


,0) s.t. Yi +d; € Xj, Vi; 


( 
(Yoy) > yi y2， 
(Xay; di)lx=y: = f (y;d), Yd = (0,--- ,di 
(Xi,y) 在 (Xi,y) 处 是 连续 的 ,Vi = 1 ,n,， 


Ui 
Ui 
ui(Xisy) 是 关于 第 i 个 块 的 子 问 题 , f (yd) SHAS Ay Rd 方向 的 方向 导数 . 假设 ui(Xi,y) ZK 
(i=1, ,nn) HWS hA, 且 每 个 子 问题 argmin u(x, xë!) s.t. xX E€ Xi 在 任意 点 Xe LE X RH 
一 解 , 则 由 BSUM 算法 产生 的 点 列 按 坐 标 收 化 到 问题 (7) 的 极 小 值 点 . 


框架 变换 (framelet 变 换 ) 


如 果 系 统 X € Lo( 民 ) 满 足 


gEX 
ZAL2(R) 的 紧 框架 , 其 中 (.,.) ÆR) 的 内 积 . 而 小 波 系统 和 ( 亚 ) 定 义 为 
集合 : v= {WwW1, Ye, = Wr} = L?(R) 定义 . 


以 下 有 限 集合 的 扩张 和 


X(W) = {2 (2E j): E€ U1 <1 < rk, j, lE Z}. 


地 ， WRX 亚 ) 同时 是 L2(R) 的 紧 框架 ， 则 wll 一 1, 2, an 7) 被 称 为 框架 ， X(W) 被 称 为 紧 小 波 框架 . 


在 离散 化 情形 , ASS ELA = (fo ih APY 是 与 小 框架 系统 相关 的 可 细 化 函数 . 
f 的 LL 级 离散 小 框架 分 解 则 是 在 预定 最 粗糙 L 层 的 系数 {f = (f,2-7/2y;(2- 了 .一 7))}, 同时 框架 系数 为 


{f= (f,2 22 tI),1<i<r 10<1l<L.} 


上 述 分 解 可 写成 关于 图 像 f € R™" 的 线性 形式 WF, 其 中 W c Rx, h Hy aA (unitary 


extension principle, UEP) 可 知 , WTW = I. PWT 表示 框架 道 变换 , W 的 行 向 量 构成 了 R™" 的 一 个 紧 


框架 


qu} 


系统 . 文中 采 


文献 [31-33] 构造 的 分 段 线性 B 样 条 小 框架 . 
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2.5 ”临近 不 动 点 算法 


Wr (RI AAPA BEES ABA : RI — (—00, +00] 构成 的 集合 , 其 中 dom(h) := {u € R° : A(u) < 
+oo} #0. f, g E€ To(R"), 考虑 凸 极 小 化 问题 : 


min p(x) + (Wx). (9) 


定义 2.6 (临近 算 子 (proximity operator)) #f AER” LYK SHR, WHR Ax eR” 上 的 
临近 算 子 定 义 为 : i 
prox +(x) = argmin{ f(u) + 3 || u- x ||2: u € R”}. 


记 S+ 为 所 有 对 称 正定 矩阵 集合 . WH € Sy, |xlla := xT Hx 表示 加 权 1 范 数 . 可 以 定义 更 一 般 的 临近 算 
F: 


1 
proz g(x) = argmin{ f(u) + 5 || u- x ||3,;: u € R”}. 


定义 2.7 (次 微分 (subdifferential)) #f LAR” 上 的 实 凸 函数 , Wf Ax E 了 ”上 的 次 微分 定义 


Or(x) = {y E R” : f(z) > f(x)+ < y,z — x >,z E R”}. 


次 微分 是 函数 在 不 可 微 情 形 下 的 扩展 , 若 函 数 可 微 , 则 次 微分 就 是 函数 的 梯度 . 容易 证 明 : A0f(x) = 
Oy s(x), HPA > 0. 

对 任意 的 x € Rt. he To(R¢) WARMER Sh EL AA*(y) := sup{(x — y) — h(x): x ER}. 如 下 定理 
刻画 了 优化 问题 (9) 的 解 . 


定理 2.1 ([34, 35]) izy €To(R”), Y € To(R®), W Amx n 短 阵 .如果 XE 了 ”是 问题 (9) 的 解 ， 
那么 对 于 任何 和 ,6 > 0, 都 存在 一 个 向 量 y CR”, 使 得 


一 DroZxo(X 一 AWTy); (10) 


y = proxpy-(y + Wx). (11) 


反之 , 如 果 存 在 和 ,6 > 0, 则 x CR” 和 y € Rm 满足 方程 (10) 和 (11), 则 x 是 问题 (9) 的 一 个 解 . 


基于 定理 2.1, 接 下 来 设计 求解 问题 (9) 的 算法 . 对 于 z := (x,y) € Rn x R”, 定义 


亚 (z) := Ap(x) + PY” (y) 


IL, AWT 
E:= ; 
BW Im 


proxy (xX) := (Prot yy(X), proz gy*(y)) € R” x R”, (12) 


和 


由 文献 [35] 知 ， 
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则 方程 (10) 和 (11) 可 转化 为 : 


Z = proty(Ez). 


注意 到 对 任意 非 零 矩阵 W, 孔 的 谱 范 数 | 也 |。 严 格 大 于 1, ARH = prozy (Bz*) 对 于 给 定 初 值 2 可 外 
不 收敛 . 为 克服 矩阵 孔 的 扩展 性 带 来 的 困难 , SE 分 裂 为 两 个 子 矩 阵 M 与 B -M 之 和 . RBA) 
得 到 收敛 的 迭代 格式 , 迭代 格式 如 下 : 


xe+l = prory(Ma**] + (E — M)x*). (13) 


[sow o 
M = 
26W 0 


at 
已 
已 
6 


EREM 的 选择 方法 有 很 多 , 例如 知 选择 


则 偿 代 格式 (13) 变 成 


ETRE E (14) 
yrkt! = prot gy (y* 十 BW (2xkt1 = XA))， 
而 车 选择 
T 
a | 0 —2AW | . 
0 0 
则 变 成 
y*t! = protyy(x* + BWy*); (15) 
x'+1 = prox gy» (x — AW (2y*t! — y*)). 
可 以 证 明 : 如 果 A8 < pyre, 则 从 (14) 或 (15) 生成 的 序列 {x 中} 收敛 到 问题 (9) 的 解 [34, 36). 
3 ”模型 及 算法 分 析 
3.1 ”提出 的 模型 
本 文 引入 软 阔 值 框架 正则 化 , 考虑 一 个 三 元 张 量 y © RECA, 建立 如 下 的 张 量 填充 模型 
3 
š Qn 2 
gii FY = Ante A Sy (WXF) Io (16) 


s.t. Poly) =F, 


FAY an =1,A> 0 是 正则 化 参数 , A := (Ay, A2, A3), X := (Xi, X2, X3), W 是 框架 变换 矩阵 , ||- llo 
是 lo 范 数 , KBE F(S,(u)); := sign(u;)mar{| ui | 一 yi,0}. 可 知 目标 函数 (16) 是 非 凸 非 光 滑 的 . AK 
FAL, VER Ry TEA, 将 非 凸 问题 松弛 为 凸 优化 问题 并 不 能 得 到 很 好 的 效果 , 因为 有 1 范 数 不 能 像 10 范 数 那样 
能 有 效 捕捉 数据 稀 琉 性 . 因此 , 为 了 尽 可 能 的 遵循 10 范 数 , 本 文 将 fo 范 数 重 写 为 具有 非 线性 间断 权 函 数 的 加 
ALL TEA, 然后 使 用 连续 权 函 数 逼 近 不 连续 权 函 数 . 
对 zc 有, ZMF:ROR, 

F(x) := | ra IP 


0, Ke. 
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那么 , 对 于 u e Rt, 有 
d 
lullo = > F(us) | u: |, 
?一 0 


即 向 量 w 的 10 范 数 可 以 用 其 第 ; 分 量 的 权重 (wi) 表示 为 它 的 “加权 "4 范 数 . 由 于 函数 F 在 z = 0 时 不 连 
续 , 给 计算 带 来 困难 , 因此 采用 一 系列 正 的 连续 偶 函 数 严 逼近 不 连续 权 函 数 严 定义 


|x| > 
F(z) -| 站 


， 0< lzl<e. 


则 lim F(z) = F(x), x € R\{O}. 此 时 ,模型 (16) 可 近似 写成 : 


< 一 0 十 
3 
min 5 > | Yin) — AnXn IF PIAS '(WX3 ))a) | (Sy(WX3)) | 
n=1 w=1 
s.t. Po(Y) =F. 
也 即 : 


: On = 
min > | Yin — AnXn l$ +A || ES,(W X3) Il 
1 


s.t. Po(V) =F, 


J 是 具有 正 对 角 元 素 的 对 角 和 矩阵 , E 的 第 i 个 对 角 线 元 素 是 &; := FS WX). EE, 优化 问 
题 (16) 可 以 转化 为 如 下 问题 求解: 


1] 


4 


min f(y, A,X) = 2 "W¥in) 一 An Xnll$ + A 25 (WXI) ll HV), (17) 


我 们 称 式 (17) 为 基于 近似 稀 玻 的 低 秩 张 量 填充 (Approximate Sparsity based Low-Rank Tensor Comple- 
tion, 简称 AS-LRTC) 模 型 . 


3.2 ”求解 算法 
在 本 节 中 , 我 们 将 设计 基于 BSUM 算法 框架 的 算法 求解 问题 (17). 该 问题 显然 不 是 关于 变量 (X, A, V) 
的 联合 凸 函数 , 但 它 对 于 每 个 变量 X, A, Y 都 是 凸 函 数 . 设 Z = (X, A, Y), 2* = (XF, Ak, Ye), 问题 (17) 可 
通过 如 下 问题 求解 : 


Zr = arg min h(Z,Z*) = arg min F(Z) + 5 | 2 — 2* |/2, (18) 


其 中 p > 0. SZk = (X*, AB yk), ZE = (XE Ak yh) Zk = (XP+, Abt) yh) ea a RET DLR DL FBS 
代 格式 求解 
| X*+! = arg min{ hi(X, ZE)} = arg min (F(X, AF, YS) + $ || X- X* |B}, 
AM = arg ming ha(A, Z$)} = arg min {f(X*, AF, Y*) + £ || A— AP |3}, (19) 
YHH = arg min{ ha, Z§)} = arg min {F(X AMY) + $ | X- V? IZ} 


202003.00055v1 


chinaXiv 


注意 到 X 和 4 的 子 问题 可 以 再 分 解 为 三 个 独立 的 子 问题 , AY 有 显示 解 . 具体 如 下 : 
X 子 问题 : 


acre _ J (OnlAR)PAS + ph) lanl ART YE) + PXA), n= 1,2, 
”1 arg min{ % || Yb) — AbXe |B +A || ESy(WX4) Ii +8 || Xs -X$ |B}, m= 3. 


nARtIXE+HI + pY% 


3 
Q 
k+1 _ 
VEH = Poe (X an foldn ( NT 


n=1 


接 下 来 , 我 们 来 分 析 求 解 Xs 的 细节 . 特别 地 , X$+! 等 价 于 求解 如 下 问题 的 解 : 


. H = Pl 
min = ll Y& — 45X; ||} + I| ES,(W X3) | +7 Il Xs- X3 | . 


显然, ES (Xa) := BIYE) — A8 Xall + £l Xs 一 X$ 和 g(WXF 
题 (9) 的 一 个 特例 . 因此 , 可 用 临近 不 动 点 算法 式 (14) 或 式 (15) 进 和 


= ||ES,(WXF)|I1, 优化 问题 (23) 


可 得 如 下 迭代 格式 : 

a = proxy;(X* —yWTU*), 

U*+1 ~ prozgg (U* + BW(2Xk*" — XE)). 
进一步 可 得 ， 


XEt1 = ((1 + Apr) + Au AB)? AB)! (XE — AWTUF — Ap(AS)TYG) + Ap1X$), 
U*+1 = prozgg» (UF + BW(2X$*1 — XE)). 


对 于 给 定 的 非 负 数 & 和 e, 对 任意 z E R, 定义 函数 


le (a) := £ :mazt{| x |—e,0}. 


) : 
J 求解 . 不 失 一 般 性 , 我 们 采用 式 (14), 则 


(20) 


(23) 


是 问 


则 根据 函数 g 的 定义 , 对 任意 矩阵 Z = (uaz), 可 知 g(0) = X; Zy legeg (Wij) 是 可 分 离 的 . 因此 , 其 内 


数 满足 
TY) = Dod, eis), 
i j 


且 由 临近 算 子 性 质 ( 式 (12)), 有 
prozgg (Y) = (proza; (vis)) . 


最 后 ,Bg* 的 函数 表达 式 与 邻近 算 子 可 由 如 下 引 理 求 得 : 


引 理 3.1 对 于 两 个 非 负 数 E 和 e, Ae CR, 有 


els], |e led 
le ec(Z) ={ 


+œ, 其它. 
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此 外 , 对 8 > 0, 都 有 


sign(x)é, | x |> Be+&; 
proze; :=4 7— sign(x)Ge, Be < Bet+€; (24) 
0, 其 它 . 


引 理 3.1 的 详细 证 明 见 文献 [28]. 
综合 上 述 分 析 , 则 得 到 了 本 文 提出 的 求解 模型 (17) 的 算法 : 


算法 1 基于 BSUM 算 法 的 AS-LRTC 模 型 求解 


A: 观测 张 量 :天 ; 观测 元 素 已 知 位 置 的 集合 :0 BE Tucker Ber = (r, r2 r3). 
输出 : 重 构 张 量 :y. 

1: function AS-LRTC 

2: 初始 化 : AL = rand(In x rn), X? = rand(ry x pE 


m=1,mÆn 


Im), n = (1,2,3); Y = Pa(F); 


3 while not converged do 

4: 通过 式 (20) 更 新 X1, X2; 

5: 通过 求解 (23) 更 新 Xs; 

6 通过 式 (21) 更 新 4A,(n = 1,2,3); 
7 通过 式 (22) 更 新 y; 


8: end While 


9: return y 


3.3 ”收敛 性 分 析 
接 下 来 , 说 明 本 文 基于 BSUM 提 出 的 算法 满足 引 理 2.1 的 条 件 , 从 而 必 是 收敛 的 . 


定理 3.1 由 (18) 生成 的 迁 代 格式 收敛 到 坐标 极 小 点 
WEAR: BA, h(Z,Z*) ADAJ) MUM, 是 其 在 第 次 和 迭代 的 全 局 上 界 , 并 满足 下 列 条 件 : 


hi(2i, Z) = f(Z),VZ,i = 1,2,3 

hig Bi Z) > f(Zi, 3 42a , Z3), YZ, V2.4 = 1,2,3; 
hi (Ži Z; Di)lz,-2, = f (Z; D’), YD! = (Dı, 0,0); 
ha(Ze,2;De)|z,-2, = f (Z; D?),YD? = (0, D2, 0); 
hs( | ee f (Z;D*),VD® = (0,0, D3); 

hi(Zi, ZÆ A(Z Z) 处 是 连续 的 ,i 二 1,2,3. 


其 中 Z=(X,A,Y), $i 二 1,2,3 HZ, AFX, AY. 


另外 , 子 问题 hi(i = 1,2,3) 分 别 关 于 X, A, V 强 凸 ,因此 每 个 子 问 题 均 有 唯一 解 . HE ARIK A À 


题 的 极 小 值 点 . 
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4 数值 实验 


在 本 节 中 , 我 们 将 在 3 阶 张 量 数据 上 测试 AS-LRTC 方 法 的 性 能 , 数据 类 型 包括 : 视频 数据 、 高 》 
谱 图 像 、 核 磁 共 振 图 像 以 及 彩色 图 像 . 进行 对 比 的 方法 为 Ji 等 人 [26] 提 出 的 ME-TV 和 Jiang 等 人 [27] 提 日 
的 MF-Framelet 的 张 量 填充 方法 . 为 了 定量 评价 各 方法 恢复 的 图 像 质 量 , 我 们 采用 峰值 信 噪 比 (Pea 
Signal-to-Noise Ratio, PSNR) 和 结构 相似 性 指数 (Structural Similarity, SSIM) 作 为 数值 指标 . 假设 真实 引 
BEY, 则 恢复 出 的 张 量 y 的 PSNR 的 定义 如 下 : 


pm CE cx 


aw 


: ny? 
PSNR(Y, Y) = 10logio — ee — 
0 


其 中 n 表 示 张 量 中 的 元 素 个 数 , yaz 表 示 真 实 张 量 中 的 像素 最 大 值 . 假设 真实 二 维 图 像 是 立 , 则 恢复 出 的 图 
像 了 的 SSIM 定 义 如 下 : 


(2mean(Y )mean(Y) + c1)(2cov(Y, Y) + c2) 


P= (mean(Y)? + mean(Y)? + c1)(std(Y)2 + std(Y)? + c2) 


Hhmean(Y,Y), std(Y) 和 cov(Y, 了 ) 分 别 表 示 Y 的 像素 平均 值 , Y 的 标准 差 , YAY 的 协 方差 , cl 和 ca 为 两 
个 常数 . 对 于 真实 张 量 数据 , 我 们 计算 其 按 各 维度 展开 和 矩阵 的 SSIM 值 的 平均 值 , 以 此 代替 张 量 的 SSIM 值 . 
停止 准则 是 两 个 连续 重 构 张 量 的 相对 变化 (RelCha), 定义 如 下 : 


| yk+1 yk | 
RelCha = ———————- <E 
| ¥* le 


a 


其 中 e > 0 是 给 定 容许 误差 . 

在 所 有 实验 过 程 中 , 对 于 MF-TV, MF-Framelet 方 法 , 其 参数 设置 采用 文献 给 出 的 参数 . 本文 提出 
的 AS-LRTC 模 型 参数 设置 如 下 : a; = 1/3(i = 1,2,3), p = 0.1, u = 1/3, = 10,8 = 0.9/A,pl = 0.01. 
所 有 实验 均 在 Windows 10 和 MATLAB(R2016b) 平台 上 实现 , 平台 配置 为 2.70GHz 的 Intel(R)Xeon(R) 
CPU 和 32G 的 内 存 . 


4.1 ”视频 图 像 修复 


在 本 节 中 , 我 们 测试 了 7 个 是 视频 : salesman, coastguard, news, suzie, hall, carphone, foreman. 所 有 
视频 均 为 YUV 格 式 . 在 实验 中 , 首先 将 视频 的 Y 通 道 转化 为 150 帧 的 灰 度 视频 , 然后 进行 测试 . 所 有 测试 视 
频 的 尺寸 均 为 144 x 176 x 150, 采样 率 SR 分 别 设置 为 5%, 10%, 20%, 30% 和 40%. 
表 1 总 结 了 通过 三 种 低 秩 张 量 填 充 方法 针对 不 同 的 SR 重建 的 所 有 测试 视频 的 PSNR 和 SSIM. 结果 
表明 , 该 方法 在 PSNR 和 SSIM 值 方面 始终 优 于 比较 方法 , 特别 是 在 采样 率 SR 低 于 20% 时 .图 4 显示 了 
在 SR = 10% 的 情况 下 , 通过 三 种 低 秩 张 量 填充 方法 重建 的 所 有 视频 的 其 中 一 帧 ,我 们 观察 到 所 提出 
的 AS-LRTC 方 法 所 重建 视频 的 视觉 效果 优 于 其 他 方法 . 具体 而 言 , 所 提出 的 AS-LRTC 方 法 能 够 更 好 地 
填充 缺失 数据 , 同时 更 多 地 保留 视频 的 基本 结构 和 有 效 信息 , 而 MF-TV 和 MF-Framelet 获得 的 结果 仍 
然 上 共有 大 量 缺 失 数据 ,图 5 中 可 以 看 出 AS-LRTC 方 法 恢复 的 视频 的 像素 值 能 更 好 的 接近 原 素 值 ,图 6 表 
明 AS-LRTC 方 法 恢复 的 每 一 帧 图 像 的 效果 优 于 其 它 两 种 方法 . 
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K 1: MF-TV, MEF-Framelet 和 本 文 提 昌 


的 AS-LRTC 方 法 的 数值 对 比 结果 


(PSNR, SSIM) 


. SR 5% 10% 20% 30% 40% 
video 
method PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM 
MF-TV 9.849 0.0634 13.882 0.2779 24.095 0.7981 32.108 0.9290 35.286 0.9640 
salesman MF-Framelet 11.053 0.1652 14.634 0.4381 25.643 0.8334 32.623 0.9388 35.543 0.9669 
AS-LRTC 18.2773 0.5465 27.592 0.8676 31.741 0.9298 34.202 0.9563 35.957 0.9701 
MF-TV 7.532 0.0369 8.607 0.0615 11.463 0.1290 17.603 0.3529 26.503 0.7671 
coastguard MF-Framelet 8.945 0.0654 10.685 0.1154 14.589 0.2006 21.346 0.5072 28.180 0.8198 
AS-LRTC 18.638 0.3150 19.405 0.4001 20.249 0.4922 23.727 0.7137 24.676 0.7703 
MF-TV 0.604 0.1179 12.688 0.2187 19.153 0.5277 30.356 0.8380 34.845 0.9302 
news MF-Framelet 2.591 0.2575 15.062 0.38748 22.280 0.6472 32.730 0.904 35.820 0.9508 
AS-LRTC 21.943 0.7306 26.155 0.8489 30.615 0.8986 33.921 0.9399 36.470 0.9626 
MF-TV 3.559 0.0915 22.126 0.6018 31.830 0.8713 34.808 0.9247 36.484 0.9481 
suzie MF-Framelet 5.486 0.2014 24.040 0.6729 32.328 0.8810 35.009 0.9281 36.591 0.9489 
AS-LRTC 20.503 0.5378 29.051 0.8042 33.178 0.8993 35.192 0.9315 36.606 0.9498 
MF-TV 3.414 0.4184 24.779 0.8265 33.170 0.9412 35.025 0.9600 36.274 0.9690 
hall MF-Framelet 3.015 0.4671 24.118 0.8325 33.307 0.9450 35.186 0.9619 36.423 0.9713 
AS-LRTC 26.655 0.8475 30.514 0.9110 33.654 0.9469 35.173 0.9608 36.348 0.9695 
MF-TV 0.058 0.11387 14.743 0.4782 30.762 0.8748 34.470 0.9390 36.208 0.9601 
carphone MF-Framelet 0.640 0.2151 14.849 0.5344 31.651 0.8886 34.719 0.9447 36.363 0.9632 
AS-LRTC 19.924 0.4798 29.611 0.8463 33.203 0.9235 35.073 0.9494 36.445 0.9636 
MF-TV 7.056 0.0253 13.749 0.2617 29.726 0.8471 32.780 0.9149 34.451 0.9421 
foreman MF-Framelet 7.252 0.0277 13.505 0.3017 30.179 0.8561 32.891 0.9183 34.539 0.9441 
AS-LRTC 15.503 0.1431 26.131 0.6978 31.126 0.8835 33.083 0.9231 34.583 0.9446 
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WORLD 


A: 不 同方 法 对 视频 图 像 其 中 一 帧 的 恢复 结果 (采样 率 为 10%). 第 一 列 : 真实 数据 ; 第 二 列 : 观测 数据 ; 第 
三 列 : ME-TV 恢复 结果 ; 第 四 列 : MF-Framelet 恢复 结果 ; 第 五 列 : AS-LRTC 恢复 结果 
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图 6: 对 视频 news 和 hall 利 用 三 种 LRTC 方 法 进行 重建 得 到 各 帧 的 PSNR 值 
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Frame index 


4.2 ”高 光谱 图 像 修复 


在 本 节 中 , 我 们 测试 的 高 光谱 图 像 的 大 小 为 350 x 350 x 188. SR 设置 为 10%. 图 7 显示 了 通过 提 昌 
的 方法 和 三 种 比较 方法 重建 的 测试 高 光谱 图 像 的 波段 . 可 以 看 出 , 与 MF-TV 和 MF-framelet 相 比 , Pri H 
的 AS-LRTC 方 法 能 够 很 好 的 重 构 高 光谱 图 像 . 


fe fe 


图 7: 不 同方 法 对 高 光谱 视频 图 像 第 56 波 段 和 第 155 波段 的 恢复 结果 (采样 率 为 10%). 第 一 列 : 真实 数据 ; 


第 二 列 : 观测 数据 ; 第 三 列 : MF-TV 恢复 结果 ; 第 四 列 : MF-Framelet 恢复 结果 ; 第 五 列 : AS-LRTC 恢 复 
结 


4.3 ”核磁 共振 图 像 修复 


该 测试 使 用 尺寸 为 181 x 217 x 181 的 MRI 数据 作为 测试 数据 . SR 设置 为 10%. 由 于 可 以 将 所 有 方向 
的 切片 视 为 图 像 , 因此 在 图 8 中 , 我 们 显示 了 从 三 个 不 同方 向 分 别 观察 到 的 三 个 重建 MRI 数据 的 代表 性 切 
F. 在 不 同方 向 的 重 构 上 , 我 们 看 到 , 本 文 所 提出 的 AS-LRTC 方 法 重 构 的 MRI 的 视觉 质量 均 优 于 其 他 的 比 


较 方法 . 
Ps — 
( 4) 


图 8: 不 同方 法 对 视频 图 像 其 中 一 帧 的 恢复 结果 (采样 率 为 10%). 第 一 列 : 真实 数据 ; 第 二 列 : 观测 数据 ; 第 
三 列 : MF-TV 恢复 结果 ; 第 四 列 : MF-Framelet 恢复 结果 ; 第 五 列 : AS-LRTC 恢复 结果 
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44 ”彩色 图 像 修 复 
本 节 我 们 用 256 x 256 x 3 大 小 的 彩色 图 片 来 测试 我 们 的 方法 的 有 效 性 和 优点 , 根据 彩色 图 片 在 空间 域 
的 分 段 光滑 性 , 我 们 将 模型 适当 的 改 为 (25), 从 模型 看 , 求解 算法 与 前 文 相似 . 


3 
Qn 


Tee ~~ nan i = xe 
sri, D y | Ye — And Il +A | ES (22) Ih u 


st Po(Y) =F. 


从 表 2 中 可 以 看 出 , 我 们 的 方法 恢复 出 的 彩色 图 片 的 PSNR 值 和 SSIM 值 比 MF-TV 和 MF-Framelet 77 
去 高 , 尤其 是 当 采 样 率 为 10% 和 20% 时 , 我 们 的 方法 的 效果 更 明显 . 从 图 9 中 可 以 更 直观 的 看 出 我 们 的 方 
去 恢复 出 的 图 像 效果 明显 好 于 其 它 两 种 方法 , 从 背景 的 色彩 上 看 , 我 们 的 方法 更 接近 原 图 像 . 


一 < 


一 < 


K 2: MF-TV, MEF-Framelet 和 本 文 提 出 的 AS-LRTC 方 法 的 数值 对 比 结果 (PSNR, SSIM) 
SR 10% 20% 30% 40% 50% 
method PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM 


name 


MF-TV 8.213 0.0390 15.110 0.1467 22.541 0.5633 27.702 0.7839 30.930 0.5407 
airplane MF-Framelet 8.950 0.0441 15.725 0.1769 23.375 0.5966 28.082 0.7991 31.408 0.8831 
AS-LRTC 18.038 0.4094 23.254 0.6018 26.707 0.7627 29.546 0.8528 31.760 0.8949 


MF-TV 12.805 0.1776 20.365 0.5481 27.361 0.8407 31.072 0.9215 33.661 0.9541 
facade MF-Framelet 15.563 0.3127 22.459 0.6487 28.337 0.8685 31.619 0.9297 33.942 0.9573 
AS-LRTC 19.195 0.4951 27.809 0.8561 30.558 0.9155 32.763 0.9462 34.411 0.9618 


MF-TV 10.375 0.0573 7.407 0.2468 25.2175 0.6329 30.249 0.8041 33.298 0.8806 
house MF-Framelet 11.573 0.0750 9.095 0.3064 26.432 0.6704 30.672 0.8171 33.348 0.8844 
AS-LRTC 19.904 0.4356 25.559 0.6493 29.210 0.7880 32.132 0.8649 34.092 0.9044 


MF-TV 10.960 0.0779 4.664 0.1565 19.848 0.3452 25.607 0.6444 30.413 0.8356 
lena MF-Framelet 12.685 0.1122 6.367 0.1898 21.142 0.3999 26.396 0.6773 30.540 0.8406 
AS-LRTC 16.426 0.3044 17.494 0.3648 26.189 0.7090 29.285 0.8281 31.940 0.8932 


MF-TV 10.771 0.0759 4.071 0.1553 17.675 0.2843 23.326 0.5633 28.557 0.7822 
peppers MF-Framelet 12.172 0.1441 5.986 0.2101 18.907 0.3338 24.295 0.6049 29.202 0.7984 
AS-LRTC 14.482 0.2270 17.235 0.3662 24.819 0.6606 28.021 0.7914 30.720 0.8668 


MF-TV 9.306 0.0962 2.681 0.1894 15.839 0.2961 19.606 0.4563 24.886 0.6740 
sailboat MF-Framelet 11.237 0.1438 5.414 0.2566 18.132 0.3652 21.448 0.5235 25.736 0.7055 
AS-LRTC 15.279 0.2791 16.304 0.3527 23.3674 0.6454 25.814 0.7533 28.415 0.8395 


17 


202003.00055v1 


chinaXiv 


9: 不 同方 法 对 彩色 图 像 的 恢复 结果 (采样 率 为 40%). 第 一 列 : 真实 数据 ; 第 二 列 : 观测 数据 ; 第 三 列 : 


ME-TV 恢复 结果 ; 第 四 列 : MF-Framelet 恢复 结 


5 结论 


本 文 结合 近似 稀 玻 和 低 秩 矩阵 分 解 提出 了 一 个 近似 稀 朴 的 张 量 填 充 模 型 ， 利 月 


AR. 第 五 列 : AS-LRTC 恢复 结果 


上 问题 的 结构 设计 了 有 


效 的 AS-LRTC 算 法 . 一 定 条 件 下 证 明了 算法 的 收敛 性 , 大 量 数值 结果 表明 该 方法 在 恢复 视觉 效果 和 增强 
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分 段 平 滑 度 方面 均 取 得 了 很 好 的 效果 . 
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